|
|
1.
面向大规模数据主题建模的方差减小的随机变分推理算法
刘张虎, 程春玲
计算机应用
2018, 38 (6):
1675-1681.
DOI: 10.11772/j.issn.1001-9081.2017112786
随机变分推理（SVI）已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题，使其扩展到处理大规模数据集，但是SVI算法中随机梯度固有的噪声使其产生较大的方差，阻碍了快速收敛。为此，对SVI作出改进，提出一种方差减小的SVI （VR-SVI）算法。首先，采取滑动窗口的方法重新计算随机梯度中的噪声项，构建新的随机梯度，减少了噪声对随机梯度的影响；然后，对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明；最后，讨论窗口大小对算法的影响，并分析算法的收敛性。实验结果表明，VR-SVI算法既减小了随机梯度的方差，又节省了计算时间，可达到快速收敛的效果。
参考文献 |
相关文章 |
多维度评价
|
|
